牛顿型方法由于其快速收敛而在联合学习中很受欢迎。尽管如此,由于要求将Hessian信息从客户发送到参数服务器(PS),因此他们遭受了两个主要问题:沟通效率低下和较低的隐私性。在这项工作中,我们介绍了一个名为Fednew的新颖框架,其中无需将Hessian信息从客户传输到PS,因此解决了瓶颈以提高沟通效率。此外,与现有的最新技术相比,Fednew隐藏了梯度信息,并导致具有隐私的方法。 Fednew中的核心小说想法是引入两个级别的框架,并在仅使用一种交替的乘数方法(ADMM)步骤更新逆Hessian级别产品之间,然后使用Newton的方法执行全局模型更新。尽管在每次迭代中只使用一个ADMM通行证来近似逆Hessian梯度产品,但我们开发了一种新型的理论方法来显示Fednew在凸问题上的融合行为。此外,通过利用随机量化,可以显着减少通信开销。使用真实数据集的数值结果显示了与现有方法相比,在通信成本方面,Fednew的优越性。
translated by 谷歌翻译